Cuộc hôn nhân đầu tiên của ông bị đổ vỡ. Năm 1959, ông làm hôn thú lần thứ hai với bà Annette Kline, một nghệ sĩ mà lúc đó làm ngoại giao về văn hóa cho bộ ngoại giao Mỹ tại Algiers. Bà Annette chết vì bị ung thư vào tháng 7 năm 2009. Họ cùng có với nhau 2 người con gái.[5] Karnow nằm trong ủy ban về các vấn đề đối ngoại (Council on Foreign Relations:một trung tâm nghiên cứu tư nhân với cơ sở tại New York và Washington) và thuộc hội các sử gia Mỹ. Karnow mất ngày 27 tháng 1 năm 2013 tại nhà riêng ở Potomac, Maryland lúc 87 tuổi vì suy tim.[6],[7]